Evaluation of Cohen Kappa Coefficient and Distinguishability for Binary Data: A Simulation Study

Amaç: Bu çalışmanın amacı, 2 sonuçlu nominal derecelendirme ölçekleri için Cohen kappa uyum katsayısı ile kategori ayırt edilebilirlik derecesini birlikte değerlendirmektir. Gereç ve Yöntemler: Çalışmada, Phyton-random kütüphanesi kullanılarak 10≤ n ≤1000 aralığında yer alan 35 farklı değeri veri türetilmiştir. Verilerin türetilmesinde önce gösterilen gözelerden hangisine değer atanacağı sonra da ilgili gözeye atanacak belirlenmiştir. n=10 286, n=15 815 n≥ 20 1000'er seti çalışmada kullanılmıştır. Bulgular: Literatürde derecesinin 0-1 aldığı ifade edilmektedir. Ancak 0 içeren ya ekstrem durumların söz konusu olduğu tablolarda tanım aralığının dışında, negatif Bunun yanı sıra literatürde nasıl yorumlanacağı çok genel bilgiler dışında herhangi bir bilgi almamaktadır. Dolayısıyla yorumlama seviyeleri esas alınarak, derecesi simülasyon çalışmasından elde edilen toplam 34.097 sonucun %49,5'inde yok, %22,1'inde önemsiz, %13,0'ında orta derecede, %8,3'ünde ekseriyetle, %5,2'sinde önemli derecede %2,0'ında neredeyse mükemmel sonucu karşılaşılmıştır. Ayırt ise %50,3'ünde edilemez, %12,4'ünde %11,8'inde %9,9'unda %7,6'sında %8,1'inde Her örneklem büyüklüğü ayrı dikkate alındığında sonuçlar benzerlik göstermiştir. Sonuç: Kategoriler arasında değilse değerlendiriciler kesinlikle aranmamalıdır. Kategorilerin edilebilir olması arasındaki uyumun her zaman yüksek olacağını göstermez.